Approximate Inference for Nonstationary Heteroscedastic Gaussian process Regression

This paper presents a novel approach for approximate integration over the uncertainty of noise and signal variances in Gaussian process (GP) regression. Our efficient and straightforward approach can also be applied to integration over input dependent noise variance (heteroscedasticity) and input dependent signal variance (nonstationarity) by setting independent GP priors for the noise and signal variances. We use expectation propagation (EP) for inference and compare results to Markov chain Monte Carlo in two simulated data sets and three empirical examples. The results show that EP produces comparable results with less computational burden

EEG-Based Brain-Computer Interface for Tetraplegics

Movement-disabled persons typically require a long practice time to learn how to use a brain-computer interface (BCI). Our aim was to develop a BCI which tetraplegic subjects could control only in 30 minutes. Six such subjects (level of injury C4-C5) operated a 6-channel EEG BCI. The task was to move a circle from the centre of the computer screen to its right or left side by attempting visually triggered right- or left-hand movements. During the training periods, the classifier was adapted to the user's EEG activity after each movement attempt in a supervised manner. Feedback of the performance was given immediately after starting the BCI use. Within the time limit, three subjects learned to control the BCI. We believe that fast initial learning is an important factor that increases motivation and willingness to use BCIs. We have previously tested a similar single-trial classification approach in healthy subjects. Our new results show that methods developed and tested with healthy subjects do not necessarily work as well as with motor-disabled patients. Therefore, it is important to use motor-disabled persons as subjects in BCI development

Vibrotactile Feedback for Brain-Computer Interface Operation

To be correctly mastered, brain-computer interfaces (BCIs) need an uninterrupted flow of feedback to the user. This feedback is usually delivered through the visual channel. Our aim was to explore the benefits of vibrotactile feedback during users' training and control of EEG-based BCI applications. A protocol for delivering vibrotactile feedback, including specific hardware and software arrangements, was specified. In three studies with 33 subjects (including 3 with spinal cord injury), we compared vibrotactile and visual feedback, addressing: (I) the feasibility of subjects' training to master their EEG rhythms using tactile feedback; (II) the compatibility of this form of feedback in presence of a visual distracter; (III) the performance in presence of a complex visual task on the same (visual) or different (tactile) sensory channel. The stimulation protocol we developed supports a general usage of the tactors; preliminary experimentations. All studies indicated that the vibrotactile channel can function as a valuable feedback modality with reliability comparable to the classical visual feedback. Advantages of using a vibrotactile feedback emerged when the visual channel was highly loaded by a complex task. In all experiments, vibrotactile feedback felt, after some training, more natural for both controls and SCI users

Yksittäisten tehtävien tuottamien EEG-signaalien luokitteluun perustuva aivokäyttöliittymä

Aivokäyttöliittymä luokittelee aivotoimintaa eri tehtävien aikana eri kategorioihin. Sen avulla liikuntakyvyttömät henkilöt voisivat ohjata tietokonesovelluksia. Harvoissa hyviin tuloksiin johtaneissa tutkimuksissa koehenkilöt ovat joutuneet harjoittelemaan useita viikkoja tai peräti kuukausia. Lisäksi kokeita tehdään valitettavan usein ainoastaan terveillä liikuntakykyisillä henkilöillä. Tässä diplomityössä esitellään uusi tosiaikaisesti toimiva aivokäyttöliittymä, joka perustuu yksittäisiin ajatuskäskyihin liittyvien elektroenkefalografia (EEG) -signaalien luokitteluun. Tavoitteena oli suunnitella systeemi, jonka käyttö ei vaatisi pitkää harjoittelua. Järjestelmällä tehtiin kaksi koetta, joilla selvitettiin voidaanko yhden kokeen aikana saavuttaa tyydyttävä suorituskyky. Koehenkilöinä oli kymmenen tervettä ja viisi neliraajahalvaantunutta, joilla ei ollut aiempaa kokemusta aivokäyttöliittymistä. Terveet koehenkilöt tekivät vasemman ja oikean sormen liikkeitä siirtääkseen palloa tietokoneruudulla. Vastaavasti potilaat yrittävät liikuttaa käsiään. Aivojen toimintaa liikkeiden aikana mitattiin EEG:llä. Eri tehtävien tunnistus perustui suureen joukkoon eri aivoaktivaatiohin liittyviä piirteitä. Kokeissa sekä muunnokset piirreavaruudessa että luokittelija päivitettiin jokaisen ennustuksen jälkeen käyttäen oikeata luokkatietoa. Tämä mahdollisti todenmukaisen palautteen antamisen koehenkilöille jo kokeen alussa. Täten sekä koehenkilöt että systeemi pystyivät oppimaan alusta asti. Kuusi kymmenestä terveestä koehenkilöstä saavutti vähintään 75% luokittelutuloksen noin kahdenkymmenen minuutin harjoittelun jälkeen. On ehdotettu, että tämä olisi vähimmäistarkkuus avustavan laitteen ohjauksessa. Yksi terve koehenkilö saavutti 21 bits/min laskennallisen informaationsiirtokapasiteetin. Tämä on verrattavissa pitkäkestoisella harjoittelulla saatujen tuloksien parhaimmistoon. Halvaantuneet koehenkilöt suoriutuivat huomattavasti huonommin. Vain kaksi heistä ylitti 60% tuloksen. Tämä osoittaa, että terveillä koehenkilöillä hyvin toimivat menetelmät eivät välttämättä toimi liikuntakyvyttömillä. Tulevaisuudessa tutkimuksen pitäisi keskittyä enemmän pääasialliseen käyttäjäryhmään

Approksimatiivisia bayesilaisia päättelymenetelmiä regressioon ja luokitteluun gaussisilla prosesseilla ja neuroverkoilla

During the recent decades much research has been done on a very general approximate Bayesian inference framework known as expectation propagation (EP), which has been found to be a fast and very accurate method in many experimental comparisons. A challenge with the practical application of EP is that a numerically robust and computationally efficient implementation is not straightforward with many model specifications, and that there is no guarantee for the convergence of the standard EP algorithm. This thesis considers robust and efficient application of EP using Gaussian approximating families in three challenging inference problems. In addition, various experimental results are presented to compare the accuracy of EP with several alternative methods for approximate Bayesian inference. The first inference problem considers Gaussian process (GP) regression with the Student-t observation model, where standard EP may run into convergence problems, because the posterior distribution may contain multiple modes. This thesis illustrates the situations where standard EP fails to converge, reviews different modifications and alternative algorithms for improving the convergence, and presents a robust EP implementation that relies primarily on parallel EP updates and uses a provably convergent double-loop algorithm with adaptively selected step size in difficult cases. The second inference problem considers multi-class GP classification with the multinomial probit model, where a straightforward EP implementation requires either multi-dimensional numerical integrations or a factored posterior approximation for the latent values related to the different classes. This thesis describes a novel nested EP approach that does not require numerical integrations and approximates accurately all between-class posterior dependencies of the latent values, but still scales linearly in the number of classes. The third inference problem considers nonlinear regression using two-layer neural networks (NNs) with sparsity-promoting hierarchical priors on the inputs, where the challenge is to construct sufficiently accurate and computationally efficient approximations for the likelihood terms that depend in a non-linear manner on the network weights. This thesis describes a novel computationally efficient EP approach for simultaneous approximate integration over the posterior distribution of the weights, the hierarchical scale parameters of the priors, and the residual scale. The approach enables flexible definition of weight priors with different sparseness properties, and it can be extended beyond standard activation functions and NN model structures to form flexible nonlinear predictors from multiple sparse linear models.Viimeisien vuosikymmenien aikana on tutkittu paljon bayesilaiseen approksimatiiviseen päättelyyn soveltuvaa expectation-propagation-menetelmää (EP), joka on osoittaunut nopeaksi ja erittäin tarkaksi useissa kokeellisissa vertailuissa. Haasteena EP:n soveltamisessa on se, että numeerisesti robusti ja laskennallisesti tehokas käytännön toteutus ei ole suoraviivaista useilla mallimäärittelyillä, ja että normaalimuotoisen EP-algoritmin konvergoituminen ei ole taattu kaikissa tilanteissa. Tämä työ käsittelee robustia ja laskennallisesti tehokasta EP:n toteuttamista gaussisilla approksimaatioilla kolmessa vaativassa mallinnusongelmassa. Lisäksi työssä esitellään useita kokeellisia tuloksia, joissa EP:n tarkkuutta verrataan keskeisiin vaihtoehtoisiin approksimaatiomenetelmiin. Ensimmäinen mallinnusongelma käsittelee regressiota gaussisilla prosesseilla ja Student-t-havaintomallilla, missä EP-algoritmi voi ajautua konvergenssiongelmiin johtuen posteriori-jakauman mahdollisesta monimoodisuudesta. Tässä työssä havainnollistetaan tilanteita, joissa normaalimuotoinen EP-algoritmi ei konvergoidu ja käydään läpi erilaisia algoritmimuunnoksia konvergenssin parantamiseksi. Lisäksi esitellään uudentyyppinen algoritmitoteutus, jossa hyödynnetään ensisijaisesti rinnakkaisia EP-päivityksia ja vaikeissa tilanteissa todistettavasti konvergoituvaa kaksoissilmukka-algoritmia mukautuvalla askelpituudella. Toinen mallinnusongelma käsittelee monen luokan luokittelua multinomiprobitmallilla, missä suoraviivainen EP-toteutus edellyttää joko moniulotteisia numeerisia integrointeja tai riippumattomia posterioriapproksimaatioita. Tässä työssä esitellään uudenlainen sisäkkäisiä EP-approksimaatioita hyödyntävä algoritmi, joka ei vaadi numeerisia integrointeja ja approksimoi tarkasti luokkien väliset posterioririippuvuudet mutta skaalautuu tästä huolimatta lineaarisesti luokkien lukumäärän suhteen. Kolmas mallinnusongelma käsittelee epälineaarista regressiota kaksikerroksisella neuroverkolla, jossa on harvoja ratkaisuja suosiva hierarkkinen priori sisäänmenoille. EP-toteutuksessa haasteena on riittävän tarkkojen ja laskennallisesti tehokkaiden approksimaatioiden muodostaminen havaintomallin termeille, jotka riippuvat epälineaarisesti kaikista verkon parametreista. Tässä työssä esitellään laskennallisesti tehokas EP-toteutus, jossa integroidaan sekä verkon kertoimien, hierarkkisten skaalaparametrien että kohinaparametrin yli. Toteutus mahdollistaa monipuolisten harvojen priorien määrittelyn ja se voidaan laajentaa yleisille aktivaatiofunktioille ja monipuolisille mallirakenteille. Tämä mahdollistaa monipuolisten epälineaaristen ennustemallien toteuttamisen harvoja lineaarimalleja yhdistelemällä

Robust Gaussian Process Regression with a Student-t Likelihood

This paper considers the robust and efficient implementation of Gaussian process regression with a Student-t observation model, which has a non-log-concave likelihood. The challenge with the Student-t model is the analytically intractable inference which is why several approximative methods have been proposed. Expectation propagation (EP) has been found to be a very accurate method in many empirical studies but the convergence of EP is known to be problematic with models containing non-log-concave site functions. In this paper we illustrate the situations where standard EP fails to converge and review different modifications and alternative algorithms for improving the convergence. We demonstrate that convergence problems may occur during the type-II maximum a posteriori (MAP) estimation of the hyperparameters and show that standard EP may not converge in the MAP values with some difficult data sets. We present a robust implementation which relies primarily on parallel EP updates and uses a moment-matching-based double-loop algorithm with adaptively selected step size in difficult cases. The predictive performance of EP is compared with Laplace, variational Bayes, and Markov chain Monte Carlo approximations. Keywords: Gaussian process, robust regression, Student-t distribution, approximate inference, expectation propagatio